Họ Phạm làng Lương Đường, huyện Bình Giang, tỉnh Hải Dương có nhiều người đỗ đạt. Tú Xương nhắc Chẳng những Lương Đường có thủ khoa là nhắc đến làng quê của vợ ông. Gia đình bà Phạm Thị Mẫn đến đời bố mẹ thì dời sang sinh sống ở Nam Định. Bà Mẫn sinh trưởng tại đây. Cuộc kết hôn giữa ông Tú với bà là từ hoàn cảnh gần gũi đó. Bà sinh cho ông được 8 người con, trong đó có 6 trai và 2 gái. Bà Tú là một phụ nữ tiêu biểu cho phụ nữ Việt Nam xưa ở nhiều phương diện như tần tảo, thương chồng, thương con, nhẫn nại quên mình. Công việc kiếm sống cho gia đình của bà là buôn bán nhỏ (tiểu thương). Điều đặc biệt là chính bà đã đi vào thi phẩm của ông chồng như một nhân vật điển hình hấp dẫn.

Khi mất ngôi nhà số 247 phố Hàng Nâu của ông nội và bố để lại, gia đình ông Tú chuyển đến nhà số 280 cùng phố (mà sau này địa phương đã xếp hạng là di tích lưu niệm Tú Xương) chính là do mẹ vợ nhà thơ (bà Hai Sửu) chia cho con gái.